Harris-Moore lớn lên trong căn nhà của mẹ tại Camano Island, Washington.[7] Những người hàng xóm nói rằng họ đã nhiều lần gọi điện thoại cho Cục bảo vệ trẻ em vì tin rằng Harris-Moore là 1 đứa trẻ bị bỏ bê hay bị ngược đãi.[7] Cha của Harris-Moore là Gordon Moore, thường dùng ma túy và ở tù khi Colton được vài tuổi.[6] Khi Colton lên 12 tuổi, người cha có tính hung hăng bỏ nhà ra đi sau khi cố tình làm ngạt thở Harris-Moore trong một vụ cãi vã tại buổi ăn thịt nướng của gia đình.[8][9] Theo lời kể của mẹ Harris-Moore là Pamela Kohler thì cha dượng của Harris-Moore mất khi Harris-Moore được khoảng 7 tuổi. Từ lúc Colton học lớp 1 thì bà đã biết là có "cái gì đó bất thường về nó" – "một thứ gì đó xa cách". Pamela Kohler nói rằng con bà ta không lắng nghe thầy cô giảng bài trong lớp, kiếm chuyện cải vã trong lớp, và đôi khi đập phá đồ vật quanh nhà.[10] Theo đánh giá phân tích tâm lý do tòa án ra lệnh thì Harris-Moore nói rằng mẹ của Harris-Moore uống rượu và trở nên thô lỗ, đập hư đồ đạc của Harris-Moore.[6] Harris-Moore bắt đầu cuộc sống hoang dã lúc 7 tuổi, và đột nhập vào các ngôi nhà nghỉ mát trong khu vực để đánh cắp mền, thức ăn nước uống trước khi lẫn vào rừng biến mất trong nhiều ngày.[10] Lần bị truy tố vì tội ăn trộm đầu tiên là khi Harris-Moore được 12. Đến khi Harris-Moore lên 13 thì đã có đến ba lần bị truy tố nữa. Harris-Moore được xét nghiệm cho thấy là bị chứng trầm cảm chán đời, rối loạn vì ít được quan tâm.[11] Mỗi lần bị truy tố thì Harris-Moore thụ án 10 ngày trong 1 trung tâm giam giữ hay làm việc công ích. Có lần mẹ của Harris-Moore nói rằng "bất cứ khi nào mà nó có cái gì hay cái gì đẹp thì mọi người cũng nghĩ rằng nó đã đánh cắp. Như vậy là sao đối với 1 đứa trẻ?"[12] Năm 2003, cảnh sát tìm thấy một cái máy quay phim điện tử của một người hàng xóm nằm trong nhà của Harris-Moore. Không như những lần bị kết án hơn 1 tháng tù giam,[7] lần này Harris-Moore trốn án tù ba năm bằng cách bỏ trốn khỏi nhà phục hồi nhân phẩm vào tháng 4 năm 2008.[13]